最近的研究提出了一系列针对深度任务模型的专业优化算法。通常声称这些多任务优化（MTO）方法产生的解决方案优于仅通过优化任务损失的加权平均值而获得的解决方案。在本文中，我们对各种语言和视觉任务进行大规模实验，以检查这些主张的经验有效性。我们表明，尽管这些算法的设计和计算复杂性增加了，但MTO方法并未产生超出传统优化方法可实现的性能的任何改进。我们强调了替代策略，这些策略始终如一地提高性能概况，并指出可能导致次优效果的常见训练陷阱。最后，我们概述了可靠地评估MTO算法的性能并讨论潜在解决方案的挑战。

关于自适应梯度方法等自适应梯度方法等训练动力的知之甚少。在本文中，我们阐明了这些算法在全批处理和足够大的批处理设置中的行为。具体而言，我们从经验上证明，在全批训练中，预处理的Hessian的最大特征值通常在某个数值下平衡 - 梯度下降算法的稳定性阈值。对于带有步长$ \ eta $和$ \ beta_1 = 0.9 $的Adam，此稳定性阈值为$ 38/\ eta $。在Minibatch培训期间发生了类似的影响，尤其是随着批处理大小的增长。然而，即使自适应方法在``稳定性的自适应边缘''（AEOS）上训练，但它们在该制度中的行为与EOS的非自适应方法的行为有很大不同。 EOS处的非自适应算法被阻止进入损失景观的高曲率区域，而AEOS的自适应梯度方法可以继续前进到高外观区域，同时适应预先调节器以补偿。我们的发现可以成为社区对深度学习中适应性梯度方法的未来理解的基础。

对于某种缩放的随机梯度下降（SGD）的初始化，已经显示宽神经网络（NN）通过再现核Hilbert空间（RKHS）方法来近似近似。最近的实证工作表明，对于某些分类任务，RKHS方法可以替换NNS而无需大量的性能损失。另一方面，已知两层NNS编码比RKHS更丰富的平滑度等级，并且我们知道SGD培训的NN可提供的特殊示例可提供胜过RKHS。即使在宽网络限制中，这也是如此，对于初始化的不同缩放。我们如何调和上述索赔？任务是否优于RKHS？如果协变量近在各向同性，RKHS方法患有维度的诅咒，而NNS可以通过学习最佳的低维表示来克服它。在这里，我们表明，如果协变量显示与目标函数相同的低维结构，则这种维度的这种诅咒变得更温和，并且我们精确地表征了这个权衡。在这些结果上建立，我们提出了可以在早期工作中观察到的统一框架中捕获的尖刺协变量模型。我们假设这种潜伏的低维结构存在于图像分类中。我们通过表明训练分配的特定扰动降低了比NN更大的更显高度显着的训练方法的特定扰动来测试这些假设。

With the progress of sensor technology in wearables, the collection and analysis of PPG signals are gaining more interest. Using Machine Learning, the cardiac rhythm corresponding to PPG signals can be used to predict different tasks such as activity recognition, sleep stage detection, or more general health status. However, supervised learning is often limited by the amount of available labeled data, which is typically expensive to obtain. To address this problem, we propose a Self-Supervised Learning (SSL) method with a pretext task of signal reconstruction to learn an informative generalized PPG representation. The performance of the proposed SSL framework is compared with two fully supervised baselines. The results show that in a very limited label data setting (10 samples per class or less), using SSL is beneficial, and a simple classifier trained on SSL-learned representations outperforms fully supervised deep neural networks. However, the results reveal that the SSL-learned representations are too focused on encoding the subjects. Unfortunately, there is high inter-subject variability in the SSL-learned representations, which makes working with this data more challenging when labeled data is scarce. The high inter-subject variability suggests that there is still room for improvements in learning representations. In general, the results suggest that SSL may pave the way for the broader use of machine learning models on PPG data in label-scarce regimes.

Handling and digesting a huge amount of information in an efficient manner has been a long-term demand in modern society. Some solutions to map key points (short textual summaries capturing essential information and filtering redundancies) to a large number of arguments/opinions have been provided recently (Bar-Haim et al., 2020). To complement the full picture of the argument-to-keypoint mapping task, we mainly propose two approaches in this paper. The first approach is to incorporate prompt engineering for fine-tuning the pre-trained language models (PLMs). The second approach utilizes prompt-based learning in PLMs to generate intermediary texts, which are then combined with the original argument-keypoint pairs and fed as inputs to a classifier, thereby mapping them. Furthermore, we extend the experiments to cross/in-domain to conduct an in-depth analysis. In our evaluation, we find that i) using prompt engineering in a more direct way (Approach 1) can yield promising results and improve the performance; ii) Approach 2 performs considerably worse than Approach 1 due to the negation issue of the PLM.

Artificial Intelligence (AI) is having a tremendous impact across most areas of science. Applications of AI in healthcare have the potential to improve our ability to detect, diagnose, prognose, and intervene on human disease. For AI models to be used clinically, they need to be made safe, reproducible and robust, and the underlying software framework must be aware of the particularities (e.g. geometry, physiology, physics) of medical data being processed. This work introduces MONAI, a freely available, community-supported, and consortium-led PyTorch-based framework for deep learning in healthcare. MONAI extends PyTorch to support medical data, with a particular focus on imaging, and provide purpose-specific AI model architectures, transformations and utilities that streamline the development and deployment of medical AI models. MONAI follows best practices for software-development, providing an easy-to-use, robust, well-documented, and well-tested software framework. MONAI preserves the simple, additive, and compositional approach of its underlying PyTorch libraries. MONAI is being used by and receiving contributions from research, clinical and industrial teams from around the world, who are pursuing applications spanning nearly every aspect of healthcare.

我们提出了Zeroeggs，这是一个神经网络框架，用于语音驱动的手势生成，以零拍出样式控制。这意味着即使在训练过程中看不见的运动样式，也只能通过一个简短的运动剪辑来控制样式。我们的模型使用一个变性框架来学习样式嵌入，从而可以通过潜在的空间操纵或样式嵌入方式的混合和缩放来修改样式。我们框架的概率性质进一步使给定输入相同的各种输出的产生，以解决手势运动的随机性质。在一系列实验中，我们首先证明了模型对新的扬声器和样式的灵活性和概括性。然后，在一项用户研究中，我们表明我们的模型在运动，语音适当性和风格刻画方面的自然性，适当性和刻画的表现优于先前的最先进技术。最后，我们释放了包括手指在内的全身手势运动的高质量数据集，语音跨越了19种不同的样式。

本文着重于基于雷达的同时定位和映射（SLAM）中的有效地标管理。必须进行地标管理，以保持相对于平台姿势估计的估计地标的一致地图。当面对从相同地标和/或动态环境的多个检测到地标可以更改的地标和/或动态环境时，此任务尤其重要。雷达数据的另一个挑战是存在错误检测。因此，我们为Radar Slam Landmark Management提出了一个简单而有效的规则解决方案。假设我们的解决方案中有几个步骤：需要检测并包括新的地标，需要识别和删除虚假地标，并且需要维护地图中注册的地标的一致性。为了说明我们的解决方案，我们在包含固定和固定地标的环境中运行扩展的Kalman Filter Slam算法。我们的仿真结果表明，即使面对虚假检测和来自同一地标的多次检测，提出的解决方案也能够可靠地管理地标。

对网络中的用户如何根据邻居的意见更新他们的意见的理解吸引了网络科学领域的极大兴趣，并且越来越多的文献认识到了这个问题的重要性。在这篇研究论文中，我们提出了有指导网络中意见形成的新动态模型。在此模型中，每个节点的意见被更新为邻居意见的加权平均值，而权重代表社会影响力。我们将一种新的中心度度量定义为基于影响和整合性的社会影响度量。我们使用两个意见形成模型来衡量这种新方法：（i）degroot模型和（ii）我们自己提出的模型。先前发表的研究没有考虑合格，并且仅考虑计算社会影响时节点的影响。在我们的定义中，与高度和较低程度的节点相关的较低度和高度的节点具有较高的中心性。作为这项研究的主要贡献，我们提出了一种算法，用于在社交网络中找到一小部分节点，该节点可能会对其他节点的观点产生重大影响。关于现实世界数据的实验表明，所提出的算法显着优于先前发布的最新方法。

我们提出了Blenderbot 3，这是一个175B参数对话模型，能够通过访问Internet和长期内存进行开放域对话，并接受了大量用户定义的任务的培训。我们同时发布了模型权重和代码，还将模型部署在公共网页上，以与有机用户进行交互。该技术报告描述了该模型的构建方式（建筑，模型和培训计划）以及其部署的细节，包括安全机制。人类评估表明，它优于现有的开放域对话代理，包括其前身（Roller等，2021； Komeili等，2022）。最后，我们使用部署收集的数据详细介绍了持续学习的计划，该数据也将公开发布。因此，该研究计划的目标是使社区能够研究通过互动学习的不断改进的负责任的代理商。